OneTrans-GSR: A Generative Slate Ranking Paradigm Unifying Reranking and Mix-Ranking with One Autoregressive Transformer
OneTrans-GSR:单自回归 Transformer 统一重排/混排的生成式 Slate 排序范式
🧭 生成式推荐 · Slate 排序统一重排与混排 ★ 深度解读
ByteDance
单自回归 Transformer 统一重排/混排直接生成 slate,线上 GMV/u +2.63%、广告价值 +2.06%、复购 +2.03%,延迟降 13%
📌 工作参考价值(4 点)
- 架构上,用离线 reward model + 线上直接生成替代在线 Generator-Evaluator:线上只跑 decoder,多个候选按 sequence log-prob 选最优,RM 不参与 serving,换来 13% 延迟下降;在重排/混排链路中值得复用。
- 多目标融合上,不同 reward 目标先 min-max 归一化再几何平均,RM reward 与业务规则满意度 reward 分开标准化后组合,避免量纲差异导致单一目标主导;RM ensemble 加 disagreement penalty 防 reward overfitting。
- 约束注入上,硬约束放在 decoding 的 masks/logit adjustments(tag-frequency 窗口、相似度惩罚、广告 boost),软偏好作为额外 RL reward 而不是后处理规则,能保留生成模型的端到端优化空间。
- 工程细节上,candidate 在 prefill 中互相 attend 比 output-only/cross-attention 更优;输出侧 stop-gradient 防止候选 embedding collapse;共享 prefill KV cache 提升吞吐,可直接迁移到生成式候选生成/LLM 排序。